高德3地图之python爬取POI数据及其边界经纬度(根据关键字在城市范围内搜索) |
您所在的位置：网站首页 › 高德地图 区域内搜索 › 高德3地图之python爬取POI数据及其边界经纬度(根据关键字在城市范围内搜索) |
高德3地图之python爬取POI数据及其边界经纬度(根据关键字在城市范围内搜索)
|
目前高德的边界没法批量爬取，不过可以采用百度地图的接口来替代，目前用着还可以，参见这里：
为了方便大家，不用再为安装环境，以及运行报错等问题困扰，目前已经将POI数据爬取做成一个在线公开的数工具，地址奉上：
免费使用哦，只需要申请个高德key，然后选择需要爬取的城市，关键字名，以及数据的 背景由于之前项目需要从高德地图上爬取一个地方的不同分类数据，所以初学了一下爬虫，也了解了一些高德地图提供的web API用来获取免费的地图数据。因此写了一篇博客用来记录一下大致步骤。 项目的需求是爬取一个地方的七个分类数据， 包括大学、景点、酒店等等，其中一条数据叫作一个POI。需要的poi点的字段包括：poi点id、名称name、位置(经纬度)location、所属省名称pname、所属省编号pcode、所属城市名称cityname、所属城市编号citycode、所属区名称adname、所属区编号adcode、所在地址address、所属类别type、边界经纬度。这里先展示一下最后爬取到的保存在excel表格中的数据吧。 到高德开放平台 | 高德地图API注册账号，并且申请web服务的AK密钥，每次发送请求需要带着这个key去认证。注册账号登陆后点击右上角的控制台 ->应用管理 -> 创建应用 -> 添加新key,注意选择web api，就得到了一个可以使用web服务的key密钥。 2. 确定api查询的地址：查找高德地图提供的web api下的搜索模块，http://lbs.amap.com/api/webservice/guide/api/search 使用关键字搜索服务,关键字搜索API的服务地址： http://restapi.amap.com/v3/place/text?parameters我们需要根据API提供的参数说明拼接GET请求所需要的参数URL。常用的使用参数说明： key 用户在高德地图官网申请Web服务API类型KEY keywords 查询关键字 types 查询POI类型 city 城市 offset,page 分页参数 output 返回数据格式类型,可选值：JSON，XML比如，查询珠海的所有大学数据，拼接起来完整的url： http://restapi.amap.com/v3/place/text?&keywords=%E5%A4%A7%E5%AD%A6&city=%E7%8F%A0%E6%B5%B7&output=json&offset=20&page=1&key=9f99fc570ccaf6abc209780433d9f4c1&extensions=all使用浏览器打开上面的链接，返回的数据使用hijson格式化后截图如下： 其中的pois展开后就是返回的当前页的POI数据。 3. 根据获取到的POI数据的id获取其边界经纬度高德地图上搜索一个景点时，如果有边界的景点会圈出其范围，如下图所示： 打开F12切换到network查看，点击一下该范围，会看到发送了一个detail请求，返回了这个圈的详细信息。请求的地址如下： https://ditu.amap.com/detail/get/detail?id=B0014014AD该接口传入POI点的id，返回详细信息，我们在第二部拿到了POI点的ID，因此可以遍历每一个POI数据，然后根据id获取边界数据，获取到的detail数据格式化后如下： 标红的shape数据即为边界坐标数据(一个多边形的边界其实是由多个点围成的)。 解析数据具体代码 getpois方法传入需要的城市名和分类关键字，最后将数据导出到d盘目录下excel文件中: 运行代码前须知: 需要将代码前面的amap_web_key的值替换为第一步中申请到的web api的密钥。 需要启动爬取程序时，需要修改getpois()方法的两个参数值(代码的后部分),cityname为城市名，classfield为分类名，分类可以查看官方文档。 由于高德地图每个key每天的请求量有限额，并且请求评率太快的话会返回错误信息，因此建议最好每天不要爬太多，而且不要集中在一个时间点。 from urllib.parse import quote from urllib import request import json import xlwt amap_web_key = '你申请的密钥' poi_search_url = "http://restapi.amap.com/v3/place/text" poi_boundary_url = "https://ditu.amap.com/detail/get/detail" #根据城市名称和分类关键字获取poi数据 def getpois(cityname, keywords): i = 1 poilist = [] while True : #使用while循环不断分页获取数据 result = getpoi_page(cityname, keywords, i) result = json.loads(result) # 将字符串转换为json if result['count'] == '0': break poilist.extend(result['pois']) i = i + 1 return poilist #数据写入excel def write_to_excel(poilist, cityname, classfield): # 一个Workbook对象，这就相当于创建了一个Excel文件 book = xlwt.Workbook(encoding='utf-8', style_compression=0) sheet = book.add_sheet(classfield, cell_overwrite_ok=True) #第一行(列标题) sheet.write(0, 0, 'id') sheet.write(0, 1, 'name') sheet.write(0, 2, 'location') sheet.write(0, 3, 'pname') sheet.write(0, 4, 'pcode') sheet.write(0, 5, 'cityname') sheet.write(0, 6, 'citycode') sheet.write(0, 7, 'adname') sheet.write(0, 8, 'adcode') sheet.write(0, 9, 'address') sheet.write(0, 10, 'type') sheet.write(0, 11, 'boundary') for i in range(len(poilist)): # 根据poi的id获取边界数据 bounstr ='' bounlist = getBounById(poilist[i]['id']) if(len(bounlist) > 1): bounstr = str(bounlist) #每一行写入 sheet.write(i + 1, 0, poilist[i]['id']) sheet.write(i + 1, 1, poilist[i]['name']) sheet.write(i + 1, 2, poilist[i]['location']) sheet.write(i + 1, 3, poilist[i]['pname']) sheet.write(i + 1, 4, poilist[i]['pcode']) sheet.write(i + 1, 5, poilist[i]['cityname']) sheet.write(i + 1, 6, poilist[i]['citycode']) sheet.write(i + 1, 7, poilist[i]['adname']) sheet.write(i + 1, 8, poilist[i]['adcode']) sheet.write(i + 1, 9, poilist[i]['address']) sheet.write(i + 1, 10, poilist[i]['type']) sheet.write(i + 1, 11, bounstr) # 最后，将以上操作保存到指定的Excel文件中 book.save(r'd:\\' + cityname +'.xls') #单页获取pois def getpoi_page(cityname, keywords, page): req_url = poi_search_url + "?key=" + amap_web_key + '&extensions=all&keywords=' + quote(keywords) + '&city=' + quote(cityname) + '&citylimit=true' + '&offset=25' + '&page=' + str(page) + '&output=json' data = '' with request.urlopen(req_url) as f: data = f.read() data = data.decode('utf-8') return data #根据id获取边界数据 def getBounById (id): req_url = poi_boundary_url + "?id=" + id with request.urlopen(req_url) as f: data = f.read() data = data.decode('utf-8') dataList = [] datajson = json.loads(data) # 将字符串转换为json datajson = datajson['data'] datajson = datajson['spec'] if len(datajson) == 1: return dataList if datajson.get('mining_shape') != None: datajson = datajson['mining_shape'] shape = datajson['shape'] dataArr = shape.split(';') for i in dataArr: innerList = [] f1 = float(i.split(',')[0]) innerList.append(float(i.split(',')[0])) innerList.append(float(i.split(',')[1])) dataList.append(innerList) return dataList #获取城市分类数据 cityname = "珠海" classfiled = "大学" pois = getpois(cityname, classfiled) #将数据写入excel write_to_excel(pois, cityname, classfiled) print('写入成功') #根据获取到的poi数据的id获取边界数据 #dataList = getBounById('B02F4027LY') #print(type(dataList)) #print(str(dataList)) ''' 返回的边界数据格式--方便高德地图前端展示 [[113.559199, 22.239364], [113.559693, 22.238274], [113.55677, 22.237162], [113.557008, 22.236653], [113.555582, 22.236117], [113.555747, 22.235742], [113.555163, 22.235538], [113.555027, 22.235831], [113.554934, 22.235875], [113.554088, 22.235522], [113.553919, 22.235885], [113.553905, 22.235961], [113.556167, 22.236835], [113.55561, 22.238172], [113.55494, 22.237933], [113.554607, 22.238652], [113.554593, 22.238697], [113.554597, 22.238765], [113.554614, 22.238834], [113.554646, 22.238885], [113.558612, 22.240406], [113.558799, 22.240258], [113.559199, 22.239364]] '''由于在很多情况下，只需要爬取POI点的中心坐标就行了，因此这里也提供了直接获取分类数据中心点坐标的代码，下面是爬去出来的成果截图：
运行代码之前，需要安装xlutils库，代码如下: from urllib.parse import quote from urllib import request import json import xlwt amap_web_key = '你申请的web服务的密钥' poi_search_url = "http://restapi.amap.com/v3/place/text" poi_boundary_url = "https://ditu.amap.com/detail/get/detail" #TODO 需要爬取的POI所属的城市名，以及分类名. (中文名或者代码都可以，代码详见高德地图的POI分类编码表) cityname = "珠海" classfiled = "大学" # 根据城市名称和分类关键字获取poi数据 def getpois(cityname, keywords): i = 1 poilist = [] while True: # 使用while循环不断分页获取数据 result = getpoi_page(cityname, keywords, i) print(result) result = json.loads(result) # 将字符串转换为json if result['count'] == '0': break hand(poilist, result) i = i + 1 return poilist # 数据写入excel def write_to_excel(poilist, cityname, classfield): # 一个Workbook对象，这就相当于创建了一个Excel文件 book = xlwt.Workbook(encoding='utf-8', style_compression=0) sheet = book.add_sheet(classfield, cell_overwrite_ok=True) # 第一行(列标题) sheet.write(0, 0, 'id') sheet.write(0, 1, 'name') sheet.write(0, 2, 'location') sheet.write(0, 3, 'pname') sheet.write(0, 4, 'pcode') sheet.write(0, 5, 'cityname') sheet.write(0, 6, 'citycode') sheet.write(0, 7, 'adname') sheet.write(0, 8, 'adcode') sheet.write(0, 9, 'address') sheet.write(0, 10, 'type') sheet.write(0, 11, 'typecode') sheet.write(0, 12, 'gridcode') sheet.write(0, 13, 'entr_location') sheet.write(0, 14, 'timestamp') sheet.write(0, 15, 'tel') sheet.write(0, 16, 'postcode') sheet.write(0, 17, 'tag') sheet.write(1, 18, 'shopid') sheet.write(1, 19, 'shopinfo') for i in range(len(poilist)): # 每一行写入 sheet.write(i + 1, 0, poilist[i]['id']) sheet.write(i + 1, 1, poilist[i]['name']) sheet.write(i + 1, 2, poilist[i]['location']) sheet.write(i + 1, 3, poilist[i]['pname']) sheet.write(i + 1, 4, poilist[i]['pcode']) sheet.write(i + 1, 5, poilist[i]['cityname']) sheet.write(i + 1, 6, poilist[i]['citycode']) sheet.write(i + 1, 7, poilist[i]['adname']) sheet.write(i + 1, 8, poilist[i]['adcode']) sheet.write(i + 1, 9, poilist[i]['address']) sheet.write(i + 1, 10, poilist[i]['type']) sheet.write(i + 1, 11, poilist[i]['typecode']) sheet.write(i + 1, 12, poilist[i]['gridcode']) sheet.write(i + 1, 13, poilist[i]['entr_location']) sheet.write(i + 1, 14, poilist[i]['timestamp']) sheet.write(i + 1, 15, poilist[i]['tel']) sheet.write(i + 1, 16, poilist[i]['postcode']) sheet.write(i + 1, 17, poilist[i]['tag']) sheet.write(i + 1, 18, poilist[i]['shopid']) sheet.write(i + 1, 19, poilist[i]['shopinfo']) # 最后，将以上操作保存到指定的Excel文件中 book.save(r'' + cityname + "_" + classfield + '.xls') # 将返回的poi数据装入集合返回 def hand(poilist, result): # result = json.loads(result) # 将字符串转换为json pois = result['pois'] for i in range(len(pois)): poilist.append(pois[i]) # 单页获取pois def getpoi_page(cityname, keywords, page): req_url = poi_search_url + "?key=" + amap_web_key + '&extensions=all&keywords=' + quote( keywords) + '&city=' + quote(cityname) + '&citylimit=true' + '&offset=25' + '&page=' + str( page) + '&output=json' data = '' with request.urlopen(req_url) as f: data = f.read() data = data.decode('utf-8') return data # 获取城市分类数据 pois = getpois(cityname, classfiled) # 将数据写入excel write_to_excel(pois, cityname, classfiled) print('写入成功')在后面代码中，会将爬取的POI数据写入EXCEL中，EXCEL存放文件为当前目录，文件名为 cityname_classfiled.xls，例如珠海_大学.xls。 高德地图在媒体开放日上展示了其基于大数据发现、专业采集进化的高德地图“活数据”生产能力。 高德地图在媒体开放日上展示了其基于大数据发现、专业采集进化的高德地图“活数据”生产能力。 高德地图技术副总裁于志杰表示，“我们正在采取一种全新的方式做地图，数亿的高德用户每天使用地图和导航服务，所以哪里的路不通了，哪里的门店关闭了，我们都可以很快知道。这些活的数据让地图开发永不停止，让地图每一秒钟都不一样。” 据了解，高德地图自2002年开始自主采集地图数据。“高德地图自2007年开始进行了用‘活数据’生产地图的尝试，那一年我们利用实时交通大数据提供了实时路况服务。现在，活数据能力已经渗透进了高德地图生产开发的每个环节。”于志杰介绍。 在高德地图数据中心大屏幕上展开的北京城区地图上，密密麻麻闪烁着无数移动的小点，这些都是当时在路上行驶的GPS定位回传。这些大数据首先能够使高德地图实时捕捉交通动态，实时获知各条道路的畅通情况、行驶车速、拥堵原因及事故、管制、施工等交通事件，并根据通行情况对用户的导航路线进行调整或提醒。 据介绍，高德地图精准的实时交通大数据中有78%来自于UGC众包数据，22%来自于出租车、物流车等行业浮动车辆。高德地图的实时交通动态事件数据中，有85%来自于用户上报，其余来自于交管和政府。 此外，高德地图还受益于阿里巴巴大数据，比如菜鸟的运单数据、物流车数据，和口碑的外卖订单数据。通过数据融合，高德方面表示可以发掘POI的新增与变化，强化地图基础数据。 高德方面还表示，为了让专业采集员和采集设备采集的数据“活”起来，达成地图数据更新速度接近T+0（时间差为零）的目标，近年来高德地图的自主专业采集能力在三个方向上实现进化：一是在线化，二是自动化，三是智能化。同时，高德地图整个数据采集生产链条由过去的人工主导、计划式采集生产转变为由大数据、自动化主导的智能化采集调度与生产处理。
Python对高德地图业务数据的selenium抓取,用,爬取,商家 发表时间：2020-11-08 注：本文仅供学习使用，请勿用于商业，如需指定类目数据请求，私信交流 1.Selenium简介 Selenium是一个用于测试网站的自动化测试工具，支持各种浏览器包括Chrome、Firefox、Safari等主流界面浏览器，同时也支持phantomJS无界面浏览器。 2.支持多种操作系统 如Windows、Linux、Mac、Unix等。 3.安装selenium及webdriver >>>#命令行下输入 >>>pip install selenium >>> >>>webdriver请根据浏览器及版本对应关系下载 >>>下载后请将exe文件放入有环境变量的路径下，一般放在Python目录下 >>>如导入还有问题，请修改Python目录下对应的配置文件4.获取高德地图商家信息位置 在此页面可以看到请求的地址信息及方式（更多方式请自行查看），这里的Request URL地址就是我们接下来要用到的 5.进入页面拉数据 6.上源码（此为简易版） import json from selenium import webdriver #打开浏览器 browser = webdriver.Chrome() urls = '' #自行由上面步骤获取 browser.get(urls) html_source = browser.page_source #推出浏览器 browser.quit() #因拉的源码前后有html文本，截取字符串即可 d = json.dumps(html_source[84:-20],ensure_ascii=False) d1 = json.loads(d) #转为字典 d2 = eval(d1) for i in range(len(d2['data']['poi_list'])): #打印商户名称、地址、联系方式 print([d2['data']['poi_list'][i]['name'],d2['data']['poi_list'][i]['address'],d2['data']['poi_list'][i]['tel']]) break
附录： 网站：http://www.mapboxx.cn 提供的其他功能： 宜出行人流量数据爬取：http://www.mapboxx.cn/tool/yichuxing_view/ - 腾讯人流量数据爬取：http://www.mapboxx.cn/tool/tencet/ - 热力图在线可视化：http://www.mapboxx.cn/tool/heatmap_visual/ - POI点数据在线可视化：http://www.mapboxx.cn/tool/poi_visual/ - 坐标拾取工具：http://www.mapboxx.cn/tool/coordpick/ - 坐标转换工具：http://www.mapboxx.cn/tool/coord_view/
|
由4中获取到的地址打开页面，获取页面源码，并将此段文本转换为json格式即可【本文地址】
今日新闻 |
推荐新闻 |